面向任务的长文档视觉问答综述：分类、演进与未来方向
🧭 多模态检索增强生成 · 长文档 VQA 综述
College of Computer Science and Technology, Zhejiang University · School of Software Technology, Zhejiang University · Polytechnic Institute, Zhejiang University · BWTON Technology Co., Ltd.
以任务瓶颈为主线，系统梳理长文档 VQA 的解析、证据检索、生成与评测，突出预算约束下的证据充分性
📌 工作参考价值（4 点）
- 电商售后、产品手册、合规条款等长文档问答场景，可参考其「证据组织与检索」组件化设计：把版面元素（表格、图表、段落空间关系）作为显式检索证据，而不仅是文本 chunk。
- 广告审核、商家资质审核需要从长合同/报告中找到依据，可借鉴「预算感知协调」与可验证理解的思想，在 token/延迟约束下动态选择直接阅读或检索。
- 面向客服 Agent 的架构：论文梳理的 Agentic Reasoning 与显式检索结合，可用于设计能持续管理证据、支持可纠正问答的长文档助手，降低幻觉风险。
- 评测维度中的证据充分性、可验证性，可直接迁移到内部长文档 VQA 评测集构建，重点考察答案是否有高保真证据支撑。
CoWorld Reasoner：以可进化视频世界模型工具链驱动智能体多模态推理
🧭 Agent 多模态推理 · VWM 工具进化
The Hong Kong Polytechnic University · Hangzhou Diagens Biotechnology Co., Ltd
Agentic 框架将视频世界模型作为统一视觉推理引擎，通过可进化 tool/skill 动态生成视觉证据，多基准相对提升 11.8%–13.0%
📌 工作参考价值（4 点）
- 在电商多模态商品理解中，可借鉴「视觉想象作为额外证据」范式：对只有单图/短视频的商品，用世界模型生成多角度、场景变化或使用过程片段，作为 VLM 推理补充输入，降低对完整 3D/视频采集的依赖。
- 采用「工具 + 技能」双层 harness 控制生成行为：把生成模型封装为多个视觉操作工具（如视角合成、时序补全），用结构化 skill 描述指导 LLM 决定是否/何时/如何生成，避免固定 pipeline 只做单一想象形式，适配标题生成、详情页卖点抽取等多任务。
- VLM-VWM Harness Co-Evolution 的思路可直接迁移到推荐 Agent 的 tool/prompt 迭代：记录执行失败/低质量输出，用反馈让 LLM 修订工具描述、技能文档和调用代码；模型权重冻结，可以低成本持续优化线上 Agent 的视觉工具链。
- 在搜索/推荐多模态评测中，该方法提示：对需要时空/因果推理的任务，单纯 VLM 直接推理不足，应加入生成型证据接入和 agentic 调用框架；业务中可先在商品视频问答、用户上传视频审核等任务上试点世界模型辅助取证。
OmniSeek：面向多轮音视频推理的原生工具集成
🧭 Agent 多轮音视频推理与工具检索
University of California, Davis · Adobe Research
将 Omni-LLM 变为主动多轮推理 Agent，动态检索关键音视频片段以支撑跨模态长上下文推理
📌 工作参考价值（4 点）
- 多模态长视频/直播/商品讲解等场景，别让模型一次吞下整个序列；可以借鉴 OmniSeek 的做法，让 Agent 先粗略定位，再调用工具按时间窗口取回关键音频或视觉片段追加到上下文，既省计算又能保持细节证据。
- 数据冷启动可复用“合成多跳 CoT 轨迹 + SFT + 两阶段 RL”路线：先造带交错的证据检索轨迹让模型学会多轮工具调用，再用可验证奖励做策略优化，适合业务中缺乏真实交互标注的场景。
- Audio-Visual Necessity 奖励是防止多模态捷径的有效 trick：在训练目标里显式惩罚只依赖单一模态的成功轨迹，可迁移到电商多模态模型，避免模型只抄文本或只靠图片就能答题。
- 工具返回原始音视频片段而不是高层特征，能保留稀疏关键证据，类似多模态 RAG；在直播切片问答、广告素材审核、智能客服等场景可以直接套用这种“检索-追加-再推理”的循环。
面向开放世界地理定位的感知-假设-验证智能体推理框架
🧭 Agent 推理与证据验证定位
The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong University of Science and Technology
提出 GeoPAVE 双层智能体框架，以感知生成假设、验证证据支撑决策来缓解幻觉与上下文漂移
📌 工作参考价值（4 点）
- 借鉴感知-假设-验证双层结构：在商品图像识别/以图搜货中，先让模型生成候选品牌、款式、材质等假设，再调用商品知识库或属性检测工具对假设做 support/refute/refine，降低多模态 LLM 的幻觉率和错配率。
- 显式证据 grounding 适合召回/排序前的 query 理解：对用户上传图片或模糊描述，不直接输出结果，而是要求模型先提取可验证证据（logo、包装、场景文字）并逐步推断，减少上下文漂移。
- 将决策动作离散化为 support/refute/refine，可以作为推荐 Agent 中的通用校验模块，对 LLM 生成的推荐理由或商品属性进行多轮事实核查后再返回用户，提升可解释性和可信度。
- 构建包含多跳查询、多轮工具调用和结构化推理轨迹的数据集，方式可迁移到电商场景，用于训练/评估带工具调用的推荐 Agent，但需注意增加在线推理时延与成本控制。
可恢复性感知的 Rollout 干预学习
🧭 LLM Agent 后训练 · 可恢复性感知的 rollout 干预 ★ 深度解读
University of Notre Dame · Amazon
将 rollout 干预建模为在线 bandit，从 reward contrast 增益学习在何处、如何分支，提供更强的训练信号并节省算力
📌 工作参考价值（4 点）
- 用 reward contrast 增益代替固定启发式作为干预信号：在对话推荐或商品搜索 Agent 训练中，不用固定的熵或成功率来分配分支预算，而是预测一次额外 rollout 能带来的 reward 方差增益（recoverability），并将其作为在线 bandit 的反馈，学习动态分支策略。
- Shadow-to-Live 双阶段部署：先用高熵 anchor 检测 + 迭代分支收集 (state, action, gain) 轨迹，训练一个轻量控制器；在线训练时用 utility gate 过滤低增益分支，并用 recency‑weighted 滑动窗口持续更新控制器。这种「先暖场再上场」的范式可直接迁移到线上 Agent 训练系统。
- 结构化干预空间：不要只调 rollout 数量，同时联合选择 branch budget 和 decoding 温度（exploit / explore），让控制器学到「增加采样数」和「增加采样多样性」的组合策略，在稀疏奖励的交互推荐场景中尤其有效。
- 在训练流程中实现算力与效果的 Pareto 改善：实验表明 RAIL 用不到半数的 rollout 即可超越 GRPO‑32，在成本敏感的线上推荐 Agent 训练中，可以用更少的交互获得更好的策略，显著降低环境交互开销。
FinanceComplexQA：面向工业级金融文档的代理推理基准
🧭 Agent 评估基准 · 金融文档 QA
Beihang University · Microsoft, China · Multilingual-Multimodal-NLP · Langboat Technology · Shenzhen Intelligent Strong Technology Co.,Ltd.
提出一个包含2026道深度研究题、2000份合成专业文档的金融文档QA基准，用于评测Agent与RAG系统的复杂推理能力
📌 工作参考价值（4 点）
- 复杂场景评测构建：可借鉴其基于领域专家知识合成高难度文档与QA对的流水线，为电商搜索推荐中的Agent评测构建真实、多维度的测试集，尤其关注多跳推理、数值计算和业务分析能力。
- Agent-as-a-Judge自动化评估：对于电商Agent的开放式生成输出（如推荐理由、用户洞察），可直接复用其多维指标+LLM评判方式，替代昂贵的人工标注。
- 复杂布局处理：论文对表格、图文混排等复杂文档的解析与推理评估，提醒我们在商品详情页、用户评论等非纯文本场景的RAG系统需强化布局感知能力。
- 失败案例分析驱动迭代：借鉴其按能力维度（数值、多跳等）归类失败案例的方法，系统性地定位推荐Agent的短板，指导架构优化。
基于证据锚定的可验证智能推理：通过工具见证内核证明消除LLM幻觉
🧭 LLM推理验证 · 证据锚定
提出 EG-VAR 架构，用 Lean 证明内核确保 LLM 推理每一步有可靠证据来源，实现 100% 验证精度。
📌 工作参考价值（4 点）
- 借鉴证据锚定思想：在电商搜索推荐 Agent 生成关键结论（如商品合规性判断、敏感推荐理由）时，强制输出附带数据源引用与验证链，减少幻觉风险
- 轻量级审计机制：可简化 Lean 形式化验证，用规则引擎或数据库约束替代，对 Agent 输出关键字段做一致性检查并记录追溯日志
- 分层设计思路：将高风险决策（如广告内容审核）剥离为独立验证模块，普通 LLM 调用保留灵活性，形成“主推理 + 形式化 sidecar”架构
- 错误处理模式：明确区分“可验证断言”与“放弃输出”，避免 Agent 生成无法验证的内容，提升系统整体可信度
Nemotron 3 Ultra：面向 Agent 推理的 550B 混合专家 Mamba-Attention 开源模型
🧭 Agent 专用大模型 · 混合 Mamba-Attention MoE ★ 深度解读
NVIDIA
总参数 550B、活跃 55B 的混合 Mamba-Attention MoE 模型，在 Agent 推理上精度对齐且推理吞吐量最高达同规模模型的 5.9 倍
📌 工作参考价值（4 点）
- 长上下文高效推理架构可迁移到推荐 Agent 中：Hybrid Mamba‑Attention + MoE 大幅降低 KV cache 与注意力成本，适合需要维持超长对话历史或文档上下文的推荐/搜索 Agent；可在电商客服、导购助手等场景落地类似模式，平衡推理延迟与能力。
- Multi‑Token Prediction 头可直接加速自回归生成：训练时加入共享权重的 MTP 头，上线后通过投机解码（speculative decoding）提升吞吐，对需要高并发生成回复的推荐理由、搜索词改写等场景有直接工程价值。
- 后训练中的多教师 On‑Policy 蒸馏（MOPD）可借鉴到工业 Agent 对齐：用领域专家 teacher 在 student 的 rollouts 上进行 token 级蒸馏，能在保持推理效率的同时注入多任务 Agent 能力（如工具使用、纠错），适合业务定制化 Agent 构建。
- 推理预算控制（reasoning effort control）可用于动态服务质量调节：允许在推理时根据负载动态调整思考深度，平衡效果与成本，可应用于推荐 Agent 的实时适配。
ATLAS：一个词同时实现Agentic与潜在视觉推理
🧭 视觉推理 · 功能token
用单一离散功能token统一agentic操作与潜在视觉推理，无需视觉监督，兼容标准训练
📌 工作参考价值（4 点）
- 功能token设计思路：在多模态对话或视觉Agent中，可将复杂视觉操作封装为离散token，避免生成中间图像，大幅降低计算开销。
- LA-GRPO训练技巧：当行为token稀疏时，用静态加权的辅助目标锚定功能token，可稳定强化学习训练，适合电商Agent中稀疏动作（如工具调用）的场景。
- 兼容性优势：功能token保持标准词表内，无需修改模型架构或训练流程，可直接融入现有LLM SFT和RL管线，工程移植成本低。
- 可解释性增强：功能token为内部操作提供明确语义锚点，便于业务中审计Agent决策路径，提升系统透明度。
面向少样本多模态时间序列分类的 VLM 智能体推理框架 MarsTSC
🧭 LLM ★ 深度解读
Sun Yat-sen University · Xiaomi Corporation · University of Science and Technology of China · National University of Singapore
设计三协作智能体与自进化知识库，让 VLM 在少样本下通过反思推理显著提升时间序列分类准确率